Reinforcement Learning using Gaussian Processes for Discretely Controlled Continuous Processes

In many application domains such as autonomous avionics, power electronics and process systems engineering there exist discretely controlled continuous processes (DCCPs) which constitute a special subclass of hybrid dynamical systems. We introduce a novel simulation-based approach for DDCPs optimization under uncertainty using Rein-forcement Learning with Gaussian Process models to learn the transitions dynamics descriptive of mode execution and an optimal switching policy for mode selection. Each mode implements a parameterized feedback control law until a stopping condition trig-gers. To deal with the size/dimension of the state space and a continuum of control mode parameters, Bayesian active learning is proposed using a utility function that trades off information content with policy improvement. Throughput maximization in a buffer tank subject to an uncertain schedule of sev-eral inflow discharges is used as case study address-ing supply chain control in manufacturing systemsFil: de Paula, Mariano. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológio - CONICET - Santa Fe. Instituto de Desarrollo y Diseño (i); ArgentinaFil: Martinez, Ernesto Carlos. Consejo Nacional de Invest.cientif.y Tecnicas. Centro Cientifico Tecnol.conicet - Santa Fe. Instituto de Desarrollo y Dise?o (i)

On-line policy learning and adaptation for real-time personalization of an artificial pancreas

The dynamic complexity of the glucose-insulin metabolism in diabetic patients is the main obstacle towards widespread use of an artificial pancreas. The significant level of subject-specific glycemic variability requires continuously adapting the control policy to successfully face daily changes in patient´s metabolism and lifestyle. In this paper, an on-line selective reinforcement learning algorithm that enables real-time adaptation of a control policy based on ongoing interactions with the patient so as to tailor the artificial pancreas is proposed. Adaptation includes two online procedures: on-line sparsification and parameter updating of the Gaussian process used to approximate the control policy. With the proposed sparsification method, the support data dictionary for on-line learning is modified by checking if in the arriving data stream there exists novel information to be added to the dictionary in order to personalize the policy. Results obtained in silico experiments demonstrate that on-line policy learning is both safe and efficient for maintaining blood glucose variability within the normoglycemic range.Fil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Facultad de Ingeniería Olavarria. Departamento de Electromecánica. Grupo INTELYMEC; Argentina. Universidad Nacional del Centro de la Pcia.de Bs.as.. Centro de Investigaciones En Fisica E Ingenieria del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Cientificas y Tecnicas. Centro Cientifico Tecnologico Conicet - Tandil. Centro de Investigaciones En Fisica E Ingenieria del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernacion. Comision de Invest.cientificas. Centro de Investigaciones En Fisica E Ingenieria del Centro de la Provincia de Buenos Aires; ArgentinaFil: Acosta, Gerardo Gabriel. Universidad Nacional del Centro de la Provincia de Buenos Aires. Facultad de Ingenieria Olavarria; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Martinez, Ernesto Carlos. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Santa Fe. Instituto de Desarrollo y Diseño. Universidad Tecnológica Nacional. Facultad Regional Santa Fe. Instituto de Desarrollo y Diseño; Argentin

A falta de segurança na internet: realidade, dinâmica e alerta

Este trabalho objetiva consolidar uma coletânea de fatos que evidenciam como o crescimento do uso da Internet está possibilitando grandes poderes, sejam públicos ou privados, de se apoderarem das informações particulares dos usuários do meio digital. Objetiva também, demonstrar o quanto a população, mundial e brasileira, está suscetível à espionagem através da Internet e das redes sociais, evidenciando a importância da regulamentação do meio digital, para que seu maior potencial seja alcançado, ser um meio de compartilhamento de informações seguro e não hierarquizado

Deep reinforcement learning approach for MPPT control of partially shaded PV systems in Smart Grids

Photovoltaic systems (PV) are having an increased importance in modern smart grids systems. Usually, in order to maximize the energy output of the PV arrays a maximum power point tracking (MPPT) algorithm is used. However, once deployed, weather conditions such as clouds can cause shades in the PV arrays affecting the dynamics of each panel differently. These conditions directly affect the available energy output of the arrays and in turn make the MPPT task extremely difficult. For these reasons, under partial shading conditions, it is necessary to have algorithms that are able to learn and adapt online to the changing state of the system. In this work we propose the use of deep reinforcement learning (DRL) techniques to address the MPPT problem of a PV array under partial shading conditions. We develop a model free RL algorithm to maximize the efficiency in MPPT control. The agent's policy is parameterized by neural networks, which take the sensory information as input and directly output the control signal. Furthermore, a PV environment under shading conditions was developed in the open source OpenAI Gym platform and is made available in an open repository. Several tests are performed, using the developed simulated environment, to test the robustness of the proposed control strategies to different climate conditions. The obtained results show the feasibility of our proposal with a successful performance with fast responses and stable behaviors. The best results for the presented methodology show that the maximum operating power point achieved has a deviation less than 1% compared to the theoretical maximum power point.Fil: Avila, Luis Omar. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; ArgentinaFil: Trimboli, Maximiliano Daniel. Universidad Nacional de San Luis. Facultad de Ingeniería y Ciencias Agropecuarias. Laboratorio de Control Automático; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Carlucho, Ignacio. State University of Louisiana; Estados Unidos. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentin

Discrimição étnico racial: um desafio educacional sócio contemporâneo

Anais do II Seminário Seminário Estadual PIBID do Paraná: tecendo saberes / organizado por Dulcyene Maria Ribeiro e Catarina Costa Fernandes — Foz do Iguaçu: Unioeste; Unila, 2014O objeto do presente artigo é mostrar a realidade racista existente na sociedade e refletida no âmbito escolar. Diante de tal contexto, fez-se necessário propor um projeto de intervenção, almejando superar tal preconceito. Asssim, um grupo de professores do Colégio Estadual Cristo Rei, elaborou o projeto “A educação não tem cor”. O referido projeto, por meio de estudos e debates críticos, trabalha com respaldo na legislação vigente, além de autores que abordam o tema em questão. O projeto, desenvolvido desde 2006, culmina na semana da Consciência Negra com exposição dos trabalhos realizados durante o ano letivo com os estudantes. Com as observações das graduandas do PIBID, surgiu a oportunidade de enriquecer o projeto em pauta, por meio da realização do “Cine Cultura: o negro em debate”. A proposta das pibidianas busca desenvolver a prática reflexiva dos envolvidos, para apropriação positiva do tema abordado, utilizando-se de filmes para intervenções, tanto em suas ações docentes, como sociai

Nicho climático como modelador do padrão de distribuição da Schinopsis brasiliensis no Neotrópico

Schinopsis brasiliensis Engl. (Anacardiaceae) is a woody medicinal plant interesting to research and conservation due to timber extraction, high pharmacological potential and cultural value in the Brazilian semi-arids. In this research, we modeled the potential distribution of the species in the Neotropical, identified the climate limiting factors of its distribution and measured the percentage of adequate protected areas. The model was generated in the Maxent software, through the combination of 469 registers of the species occurrence and nine climate variables from the WorldClim data base and presented good development  (AUC = 0.976).  The potentially adequate areas were estimated along the dry diagonal in South America, in addition to fragmented areas at the coast of Peru and Ecuador. Precipitation, temperature and atmospheric humidity were the most influential variables on the prediction of climatically viable areas for the species. The results indicate low representation of protected areas (0.003%) in highly adequate areas, which demonstrates the necessity of expansion, implementation of measures of conservation and management of S. brasiliensis. The findings in this study, therefore, can be used for scientific support on delineating these measurements.Schinopsis brasiliensis (Anacardiaceae) é uma planta lenhosa e medicinal de interesse para pesquisa e conservação em virtude da extração de madeira, elevado potencial farmacológico e valor cultural no semiárido brasileiro. Neste estudo, foi modelada a distribuição potencial da espécie no Neotrópico, identificados os fatores climáticos limitantes da sua distribuição e mensurada a porcentagem de áreas adequadas protegidas. O modelo foi gerado no software Maxent, a partir da combinação de 469 registros de ocorrência da espécie e nove variáveis climáticas da base de dados WorldClim e apresentou um bom desempenho (AUC = 0.976). As áreas potencialmente adequadas foram estimadas, ao longo da diagonal seca da América do Sul, além de áreas fragmentadas na costa do Peru e Equador. Precipitação, temperatura e umidade atmosférica foram as variáveis mais influentes na predição de áreas climaticamente viáveis para a espécie. Os resultados indicaram uma baixa representação de áreas protegidas (0,003%) dentro das áreas de alta aptidão, o que demonstra a necessidade de ampliação, implementação de medidas de conservação e manejo da S. brasiliensis. Os achados deste estudo, portanto, podem ser úteis como suporte científico no delineamento dessas medidas

Integration of ROS and Tecnomatix for the development of digital twins based decision-making systems for smart factories

Digital twins employs simulation in conjunction with virtual environments and a variety of data coming from different plant equipment and physical systems to continuously update the digital models of the world in a feedback loop scheme to facilitate the decision-making processes. The heterogeneity of existing hardware and software requires the development of software architectures able to deal with the information exchange due to the integration and interaction of several system components and autonomous decision-making systems. In this work we propose the design and construction of a software architecture that integrates a manufacturing process simulator with the well-known robot operating system (ROS-Robot Operating System) to easily interchange information with an autonomous decision-making system. The proposal is tested with the simulator Tecnomatix and the free distribution ROS Melodic. We present an instance of software architecture for a typical complex case study of manufacturing plants and demonstrate its easy integration with an autonomous decision-making system based on the reinforcement- learning paradigm.Fil: Saavedra Sueldo, Carolina. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; ArgentinaFil: Villar, Sebastian Aldo. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; ArgentinaFil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; ArgentinaFil: Acosta, Gerardo Gabriel. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; Argentin

Adaptive low-level control of autonomous underwater vehicles using deep reinforcement learning

Low-level control of autonomous underwater vehicles (AUVs) has been extensively addressed by classical control techniques. However, the variable operating conditions and hostile environments faced by AUVs have driven researchers towards the formulation of adaptive control approaches. The reinforcement learning (RL) paradigm is a powerful framework which has been applied in different formulations of adaptive control strategies for AUVs. However, the limitations of RL approaches have lead towards the emergence of deep reinforcement learning which has become an attractive and promising framework for developing real adaptive control strategies to solve complex control problems for autonomous systems. However, most of the existing applications of deep RL use video images to train the decision making artificial agent but obtaining camera images only for an AUV control purpose could be costly in terms of energy consumption. Moreover, the rewards are not easily obtained directly from the video frames. In this work we develop a deep RL framework for adaptive control applications of AUVs based on an actor-critic goal-oriented deep RL architecture, which takes the available raw sensory information as input and as output the continuous control actions which are the low-level commands for the AUV's thrusters. Experiments on a real AUV demonstrate the applicability of the stated deep RL approach for an autonomous robot control problem.Fil: Carlucho, Ignacio. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; ArgentinaFil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; ArgentinaFil: Wang, Sen. Heriot-Watt University; Reino UnidoFil: Petillot, Yvan. Heriot-Watt University; Reino UnidoFil: Acosta, Gerardo Gabriel. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; Argentin

ENTRE A GESTÃO E A FOME: UM ESTUDO DE CASO DO RESTAURANTE POPULAR NO MUNICÍPIO DE PARANAGUÁ

A partir da aceleração da urbanização no Brasil, um novo contexto surgiu nos aspectos de vida da população, a partir da inversão dos fluxos populacionais quando os grandes centros urbanos passaram a ter mais habitantes que a zona rural, o acesso a alimentos se tornou mais dificultado especialmente as pessoas de menor poder aquisitivo. O governo brasileiro implantou um programa de restaurantes populares com vias a mitigar a fome. Apesar da relevância dos restaurantes populares, até o momento poucos estudos foram realizados sobre o tema no que se refere ao atendimento prestados por esses estabelecimentos. Neste contexto realizou-se pesquisa exploratória descritiva entre julho e setembro de 2016, com entrevistas presenciais junto a 64 consumidores que frequentavam diariamente o restaurante popular do municí­pio de Paranaguá. O estudo revelou que o consumidor do restaurante popular no litoral do Paraná era frequentado de forma igualitária entre os gêneros que estavam em idade economicamente ativa, sendo na totalidade pessoas de baixa renda financeira. O estudo observou que a medida que o ní­vel de escolaridade e renda é fator relevante entre os consumidores, sendo que a medida que se eleva a escolaridade e a renda diminui a frequência deste consumidor no restaurante popular. Os principais fatores de que influencia no processo de decisão de consumo no restaurante popular são o baixo preço, seguido da qualidade do alimento servido. As principais implicações observadas na pesquisa de campo e que são considerados como negativas pelos consumidores foram o pequeno tamanho do restaurante, e em especial a pequena quantidade de comida servida e sendo que estes fatores necessitam de melhorias pela gestão do restaurante popular para ampliar o ní­vel de satisfação do consumidor